Von der Goltz gia nhập Trung đoàn Phóng lựu Cận vệ Hoàng đế Alexander số 1 với tư cách là một thiếu sinh quân và trong trung đoàn này ông đã tham chiến trong cuộc chiến tranh chống Đan Mạch năm 1848. Vào năm 1849, ông tham gia chiến dịch trấn áp quân nổi dậy tại Baden với cấp bậc đại đội trưởng và được lên quân hàm Đại úy vào năm 1851. Mặc dù ông chưa hề học Trường Chiến tranh (Kriegsschule), ông đã được chuyển vào Bộ Tổng tham mưu với quân hàm thiếu tá, và vào năm 1861, ông được thăng quân hàm thượng tá. Đến năm 1862, ông được ủy nhiệm vào một chức tiểu đoàn trưởng trong Trung đoàn Bộ binh số 15 (Westfalen 2).